Sau khi từ nhiệm và rời khỏi cương vị Thủ tướng Chính phủ,Phan Văn Khải đã trở về quê nhà Tân Thông Hội sinh sống, tại đây ông tích cực tham gia các hoạt động cộng đồng tại địa phương sống rất chan hòa bình dị với dân làng, chòm xóm.

Khác với người tiền nhiệm Võ Văn Kiệt (sau khi ông Kiệt thôi làm thủ tướng, ông vẫn còn làm Cố vấn Ban Chấp hành Trung ương một thời gian dài, sau này thôi luôn cố vấn ông Kiệt vẫn rất quan tâm và luôn luôn sẵn sàng lên tiếng, thể hiện quan điểm khác biệt so với các chính phủ kế nhiệm đặc biệt là chính phủ của ông Nguyễn Tấn Dũng), ông Khải lại khá kín tiếng, và gần như không có bất kỳ một bài viết, đánh giá hay thể hiện quan điểm nào, ông cũng khá hạn chế tiếp xúc trực tiếp với báo chí, trên thực tế những năm cuối đời Phan Văn Khải đã hoàn toàn không còn can thiệp, tham gia vào bất cứ công vụ, chính sách điều hành nào của người kế nhiệm và các chính phủ tiếp sau.

Trước Tết Mậu Tuất 2018, ông Khải lâm trọng bệnh. Sau thời gian điều trị ở Singapore, ông được chuyển về bệnh viện Chợ Rẫy vào ngày 21/2/2018.[8]

Ông từ trần vào lúc 1h30 ngày 17 tháng 3 năm 2018 tại nhà riêng ở xã Tân Thông Hội, huyện Củ Chi, Thành phố Hồ Chí Minh,[2][9] thọ 86 tuổi. Lễ tang được tổ chức theo nghi thức quốc tang, lễ viếng tổ chức vào các ngày 20 và 21 tháng 3 tại Hội trường Thống Nhất (Thành phố Hồ Chí Minh), lễ truy điệu tổ chức vào ngày 22 tháng 3, sau đó thể theo di nguyện của ông và nguyện vọng của gia đình, ông đã được an táng cạnh vợ là bà Nguyễn Thị Sáu ngay trong khuôn viên nhà ông tại quê nhà.